دوره جامع مهندسی داده در AWS - آموزش کامل [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه: داده‌ها نفت جدید هستند Introduction: Data Is the New Oil

• مقدمه Introduction

آشنایی با مدرس Know Your Trainer

• آشنایی با مدرس Know Your Trainer

شروع کار با تحلیل داده‌ها Getting Started with Data Analytics

• مهندسی داده در AWS Data Engineering on AWS

• اصطلاحات پایه Basic Terminologies

AWS Glue: کاتالوگ و پردازش داده‌ها AWS Glue: Catalog and Process Your Data

• کاتالوگ داده Glue Glue Data Catalog

• Glue ETL: بخش اول Glue ETL: Part 1

• Glue ETL: بخش دوم Glue ETL: Part 2

• Glue ETL: بخش سوم Glue ETL: Part 3

• جریان‌های کاری (Workflows) Workflows

• نشانگر شغلی (Job Bookmark) Job Bookmark

• نوع اجرا Execution Type

• کیفیت داده: بخش اول Data Quality: Part 1

• کیفیت داده: بخش دوم Data Quality: Part 2

• Glue DataBrew Glue DataBrew

• ویژگی‌های اضافی Additional Features

Amazon Redshift: انبار داده در AWS Amazon Redshift: A Data Warehouse in AWS

• Amazon Redshift Amazon Redshift

• معماری Architecture

• ایجاد یک کلاستر Creating a Cluster

• ویرایشگر پرس‌وجو v2 Query Editor v2

• استایل‌های توزیع Distribution Styles

• عملیات کلاستر Cluster Operations

• API داده‌ها Data API

• Redshift Spectrum Redshift Spectrum

• Redshift Serverless: بخش اول Redshift Serverless: Part 1

• Redshift Serverless: بخش دوم Redshift Serverless: Part 2

• نماهای متریالیزه شده (Materialized Views) Materialized Views

• WLM و هم‌روندی (Concurrency) WLM and Concurrency

• اشتراک داده (DataShare) DataShare

• اطلاعات تکمیلی Additional Information

پردازش داده‌های استریم در Amazon Kinesis و Amazon MSK Processing Streaming Data on Amazon Kinesis and Amazon MSK

• داده‌های استریم چیست؟ What Is Streaming Data?

• سرویس‌های استریم در AWS Streaming Services in AWS

• خانواده Amazon Kinesis Amazon Kinesis Family

• Amazon Kinesis Data Streams Amazon Kinesis Data Streams

• حالت ظرفیت (Capacity Mode) Capacity Mode

• تکرارکننده‌های شارد (Shard Iterators) Shard Iterators

• تولیدکننده داده‌های Kinesis Kinesis Data Generator

• تولیدکنندگان استریم داده Data Stream Producers

• مصرف‌کننده استریم داده Data Stream Consumer

• توزیع پیشرفته (Enhanced Fan Out) Enhanced Fan-Out

• Amazon Kinesis Firehose Amazon Kinesis Firehose

• پارتیشن‌بندی پویا Dynamic Partitioning

• مقایسه Data Stream و Data Firehose Data Stream vs. Data Firehose

• سرویس مدیریت شده برای Apache Flink Managed Service for Apache Flink

• برنامه Flink Flink Application

• Flink Studio Flink Studio

• Apache Kafka Apache Kafka

• سرویس مدیریت شده AWS برای Kafka Amazon Managed Service for Kafka

• کلاستر MSK MSK Cluster

• تاپیک‌های Kafka Kafka Topic

• ارسال و دریافت پیام‌ها Send and Receive Messages

• Amazon MSK Serverless Amazon MSK Serverless

• مقایسه MSK Provisioned و Serverless MSK Provisioned vs. Serverless

• Amazon MSK Connect Amazon MSK Connect

• مقایسه Amazon Kinesis و Amazon MSK Amazon Kinesis vs. Amazon MSK

اجرای پردازش‌های Big Data در Amazon EMR Running Big Data Workloads on Amazon EMR

• داده‌های حجیم (Big Data) چیست؟ What Is Big Data?

• MapReduce MapReduce

• اکوسیستم Big Data Big Data Ecosystem

• Amazon EMR Amazon EMR

• ذخیره‌سازی برای EMR Storage for EMR

• ایجاد کلاستر EMR: بخش اول Creating EMR Cluster: Part 1

• ایجاد کلاستر EMR: بخش دوم Creating EMR Cluster: Part 2

• مهاجرت Migration

• Amazon EMR Serverless Amazon EMR Serverless

• بهینه‌سازی هزینه Cost Optimization

ساخت دریاچه‌های داده در AWS Building Data Lakes on AWS

• دریاچه داده (Data Lake) چیست؟ What Is a Data Lake?

• انبار داده در مقابل دریاچه داده Data Warehouse vs. Data Lake

• AWS Lake Formation AWS Lake Formation

• چگونه کار می‌کند؟ How It Works?

• راه‌اندازی دریاچه داده: بخش اول Setting Up a Data Lake: Part 1

• راه‌اندازی دریاچه داده: بخش دوم Setting Up a Data Lake: Part 2

• مجوزهای دریاچه داده Data Lake Permissions

• مجوزهای مبتنی بر تگ Tag-Based Permissions

• فرمت‌های جدول باز (Open Table Formats) Open Table Formats

پرس‌وجوی داده‌ها با استفاده از Amazon Athena Query Your Data Using Amazon Athena

• چرا از Amazon Athena استفاده کنیم؟ Why Use Amazon Athena?

• چگونه کار می‌کند؟ How It Works?

• بهینه‌سازی پرس‌وجوها در Athena: بخش اول Optimizing Queries in Athena: Part 1

• بهینه‌سازی پرس‌وجوها در Athena: بخش دوم Optimizing Queries in Athena: Part 2

• گروه‌های کاری (Workgroups) Workgroups

• پرس‌وجوی فدرال: بخش اول Federated Query: Part 1

• پرس‌وجوی فدرال: بخش دوم Federated Query: Part 2

بصری‌سازی داده‌ها با استفاده از Amazon QuickSight Visualize Your Data Using Amazon QuickSight

• بصری‌سازی داده‌ها Data Visualization

• شروع به کار Getting Started

• یکپارچه‌سازی با Amazon Athena Integration with Amazon Athena

ارکستراسیون خط لوله داده‌ها Orchestrating Your Data Pipeline

• ارکستراسیون خط لوله داده‌ها Orchestrating Your Data Pipeline

• کدام یک را انتخاب کنیم؟ Which One to Choose?

• Amazon AppFlow Amazon AppFlow

• AWS Data Exchange AWS Data Exchange

• AWS Step Functions: بخش اول AWS Step Functions: Part 1

• AWS Step Functions: بخش دوم AWS Step Functions: Part 2

• AWS Step Functions: بخش سوم AWS Step Functions: Part 3

سرویس‌های مهاجرت داده در AWS Data Migration Services in AWS

• نکته‌ای پیش از شروع A Note Before You Proceed

• مهاجرت پایگاه‌های داده به AWS Migrating Your Databases to AWS

• AWS DMS: بخش اول AWS DMS: Part 1

• AWS DMS: بخش دوم AWS DMS: Part 2

• AWS DMS: بخش سوم AWS DMS: Part 3

• مهاجرت داده‌ها به AWS Migrating Your Data to AWS

• AWS DataSync: بخش اول AWS DataSync: Part 1

• AWS DataSync: بخش دوم AWS DataSync: Part 2

• AWS Transfer Family: بخش اول AWS Transfer Family: Part 1

• AWS Transfer Family: بخش دوم AWS Transfer Family: Part 2

• AWS Snow Family AWS Snow Family

فراتر از سرویس‌های تحلیل AWS Going Beyond AWS Analytics Services

• نکته‌ای پیش از شروع A Note Before You Proceed

• AWS Lambda: ویژگی‌های مهم AWS Lambda: Important Features

• AWS Lambda: هم‌روندی (Concurrency) AWS Lambda: Concurrency

• AWS Lambda: لایه‌ها (Layers) AWS Lambda: Layers

• AWS Lambda: اتصال VPC AWS Lambda: VPC Connectivity

• AWS Lambda: مجوزها AWS Lambda: Permissions

• Amazon S3: رمزنگاری Amazon S3: Encryption

• Amazon S3: سطوح ذخیره‌سازی Glacier Amazon S3: Glacier Storage Tiers

• Amazon S3: اعلان‌های رویداد Amazon S3: Events Notification

• Amazon S3: سیاست‌های چرخه عمر Amazon S3: Lifecycle Policies

• Amazon S3: لایه هوشمند (Intelligent Tier) Amazon S3: Intelligent Tier

• Amazon S3: Select Amazon S3: Select

• Amazon S3: Object Lambda Amazon S3: Object Lambda

• Amazon EC2: EBS Volumes Amazon EC2: EBS Volumes

• Amazon RDS: بینش‌های عملکرد (Performance Insights) Amazon RDS: Performance Insights

• Amazon DynamoDB: استریم‌ها Amazon DynamoDB: Streams

• Amazon DynamoDB: جداول جهانی (Global Tables) Amazon DynamoDB: Global Tables

• Amazon DynamoDB: مقیاس‌بندی خودکار Amazon DynamoDB: Auto Scaling

نکات پایانی Final Note

• نکات پایانی Final Note